Many-Shot + ICL論文

論文情報

タイトル：Many-Shot In-Context Learning

発行日：2024年4月

著者：Rishabh Agarwal et al

所属：Google DeepMind

URL：https://arxiv.org/pdf/2404.11018

#AI-論文

https://scrapbox.io/files/66533b873852ea001d258574.png

図1 | 多ショット対少ショットのインコンテキスト学習（ICL）をいくつかのタスクで比較。多ショットICLは一貫して少ショットICLを上回り、特に難しい非自然言語タスクで顕著。

多ショットICLの最適なショット数は、各タスクのバーの中に示されています。少ショットICLの場合、ベンチマークで使用される典型的なショット数（例えば、MATHでは4ショット）

または、GPT-3のコンテキスト長2048トークン未満でテストした最長のプロンプトを使用します。推論志向のタスク、具体的にはMATH、GSM8K、BBH、およびGPQAは思考過程の理論を使用します。翻訳では英語からベンバ語へのパフォーマンスを報告し、要約にはXLSumを使用し、MATHはMATH500テストセットに対応し、感情分析の結果は意味的に無関係なラベルで報告されます。